\chapter{Experimento} 
	\label{chap:experimento}
	\epigraph{Una partida de ajedrez (\dots) cada cual la sobrestima o menosprecia, pero ninguno es capaz de juzgarla fría y objetivamente}{Reuben Fine \newline(sub-campeón mundial de ajedrez y PhD en psicología)}

	\section{Experimento}
	
		El experimento tiene como intención principal refutar la hipótesis planteada en la sección \ref{sec:Hipotesis} en la página \pageref{sec:Hipotesis} la cual es: \textbf{ “El reconocimiento de patrones es efectivo en el análisis del estado de juegos que involucran toma de decisiones con información completa con una varianza aceptable”}.
		
		Para ello el experimento debe de poner a prueba a la red neuronal desarrollada a evaluar varias posiciones con diversos factores. Además, seres humanos experimentados evaluarán las mismas posiciones y otorgarán su criterio. El experimento buscará entonces hallar diferencias en la evaluación de la red neuronal y la valoración humana. Para minimizar el error humano, se cuenta con la entrevista a seis jugadores humanos expertos en el área y lo que será considerado como un factor, será el promedio de las valoraciones humanas, de manera que el error de un humano por otros factores que son ajenos a la red neuronal, tal como el cansancio, se merme entre todos los participantes de este experimento, eliminando así el ruido que puede provocarse por un ser humano.
		
		Finalmente sobre los datos recopilados, se va a aplicar un análisis de varianza (ANOVA) para determinar si existe diferencia significativa en las muestras de cada población acorde con los factores tomados en cuenta.
				
		
		\subsection[Factores y dominio experimental]{Factores y dominio experimental}
			
			Basándose en diversas situaciones que los jugadores de ajedrez tienden a considerar al inicio del análisis de una
			posición, se determinó qué factores van a ser los que se van a tomar en cuenta para este experimento.			
			Dichos factores se explican en el capítulo \ref{chap:ajedrezCasoEstudio} a partir de la página \pageref{chap:ajedrezCasoEstudio}. Los factores que se decidió se explican en el cuadro \ref{tab:factoresNiveles}

			\begin{table}[htp]
				\centering
				\begin{tabular}{|c|c p{4cm}|p{8cm}|}
					\hline
					\textbf{Factor} & \textbf{Niveles} & & \textbf{Descripción}\\
					\hline
					Rey & 2 & \begin{itemize} \item[\textbf{Nivel 0}] El rey no está en el centro \item[\textbf{Nivel 1}] El rey sí está en el centro \end{itemize} & El rey se considera en el centro si se encuentra en la columna original (columna \texttt{e}) o alguna de sus colindantes (columna \texttt{d} o columna \texttt{f}). El rey no se considerará en el centro si está enrocado (columna \texttt{c} o columna \texttt{g}) o si se encuentra aún más alejado del centro (columna \texttt{a}, columna \texttt{b}, columna \texttt{h}).\\
					\hline
					Dama & 2 & \begin{itemize} \item[\textbf{Nivel 0}] No hay damas en el tablero \item[\textbf{Nivel 1}] Hay al menos una dama en el tablero \end{itemize} & Este punto indica si hay una dama en el tablero. Este es un factor importante para medir la evaluación de la red neuronal, dada la forma en que se le presentaron los datos.\\
					\hline
					Igualdad & 2 & \begin{itemize} \item[\textbf{Nivel 0}] El material está igualado \item[\textbf{Nivel 1}] El material no está igualado \end{itemize} & Se considerará igualdad material si pieza a pieza ambos bandos están igualados. Vale la pena destacar que un caballo fue tomado por el mismo valor de un alfil.\\
					\hline
					Peones & 2 & \begin{itemize} \item[\textbf{Nivel 0}] Los peones no están ordenados \item[\textbf{Nivel 1}] Los peones sí están ordenados \end{itemize} & Una estructura de peones está ordenada si en el tablero no hay peones doblados ni aislados, tal y como se explicó en el capítulo \ref{chap:ajedrezCasoEstudio}.\\
					\hline
					Evaluador & 2 & \begin{itemize} \item[\textbf{Nivel 0}] Humanos \item[\textbf{Nivel 1}] Red neuronal artificial \end{itemize} & Se tomaron en cuenta las valoraciones de la red neuronal y de seres humanos, en el que se tomaron a seis jugadores con amplia experiencia y se promediaron sus valoraciones para ser aportadas como una sola.\\
					\hline
				\end{tabular}
				\caption{Factores del experimento y sus niveles}
				\label{tab:factoresNiveles}
			\end{table}

%			\begin{enumerate}
%				\item \textbf{Rey en el centro:}  .
%				\item \textbf{Presencia de dama:} .
%				\item \textbf{Igualdad de material}: . También es destacable que la igualdad material no tiene ninguna otra implicación en el tablero.
%				\item \textbf{Peones ordenados}: Una estructura de peones está ordenada si en el tablero no hay peones doblados ni aislados, tal y como se explicó en el capítulo \ref{chap:ajedrezCasoEstudio}.
%				\item \textbf{Evaluador}: Se tienen dos evaluaciones posibles para la situación que se despliega en el tablero , una es la valoración dada por la red, la otra es la valoración dada por los humanos, .
%			\end{enumerate}

		\subsection{Combinaciones y réplicas}
		
			Dado que se cuenta con \(5\) factores y cada uno tiene dos niveles, se está siguiendo el esquema \(2^k\), se va a contar con \(32\) combinaciones. De los \(5\) factores que se van a tomar en cuenta, \(4\) hacen referencia a características de la posición. A continuación se presenta en la tabla \ref{tab:factores} las combinaciones de dichas características para las posiciones que se van a seleccionar para la elaboración de este experimento.
			
			\begin{table}[h!]
				\centering
				\begin{tabular}{|c|c|c|c|c|}
					\hline 
					& \textbf{Rey en el} & \textbf{Presencia de} & \textbf{Igualdad} & \textbf{Peones}\\
					& \textbf{Centro} & \textbf{la Dama} & \textbf{Material} & \textbf{Ordenados}\\
					\hline 1 & No & No & No & No\\
					\hline 2 & No & No & No & Sí\\
					\hline 3 & No & No & Sí & No\\
					\hline 4 & No & No & Sí & Sí\\
					\hline 5 & No & Sí & No & No\\
					\hline 6 & No & Sí & No & Sí\\
					\hline 7 & No & Sí & Sí & No\\
					\hline 8 & No & Sí & Sí & Sí\\
					\hline 9 & Sí & No & No & No\\
					\hline 10 & Sí & No & No & Sí\\
					\hline 11 & Sí & No & Sí & No\\
					\hline 12 & Sí & No & Sí & Sí\\
					\hline 13 & Sí & Sí & No & No\\
					\hline 14 & Sí & Sí & No & Sí\\
					\hline 15 & Sí & Sí & Sí & No\\
					\hline 16 & Sí & Sí & Sí & Sí\\
					\hline
				\end{tabular}
				\caption{Posiciones}
				\label{tab:factores}
			\end{table}
			
			Cada combinación en este caso, consiste en posiciones que cuentan con cada uno de esos factores. Por ejemplo, la combinación \#1, nos indica que se trata de posiciones donde no hay reyes en el centro del tablero, no hay damas en el
			tablero, no hay igualdad de material y los peones no están ordenados. De manera opuesta las posiciones descritas en \#16, indican que si hay
			al menos un rey en el centro, si hay damas, si hay igualdad de material (se recuerda que un alfil es valorado igual que un
			caballo desde el punto de vista material) y sí están los peones ordenados. En medio se encuentran todas las combinaciones de estos dos extremos. Más
			adelante, se mostrarán cada una de las posiciones que pertenecen a cada réplica.\\

\clearpage

			Para este experimento se van a realizar 10 réplicas por cada combinación.
			
			La tabla \ref{tab:numeroReplicaUbicacionCadaComb} indica el número de posición y su ubicación dentro de cada combinación.
			
			\begin{table}[h!]
				\centering
				\begin{tabular}{|c|c|c|c|c|c|c|c|c|c|c|}
					\hline \textbf{Combinación} & \multicolumn{10}{c|}{\textbf{Número de posición}}\\
					\hline NNNN & 1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 & 10\\
					\hline NNNS & 11 & 12 & 13 & 14 & 15 & 16 & 17 & 18 & 19 & 20\\
					\hline NNSN & 21 & 22 & 23 & 24 & 25 & 26 & 27 & 28 & 29 & 30\\
					\hline NNSS & 31 & 32 & 33 & 34 & 35 & 36 & 37 & 38 & 39 & 40\\
					\hline NSNN & 41 & 42 & 43 & 44 & 45 & 46 & 47 & 48 & 49 & 50\\
					\hline NSNS & 51 & 52 & 53 & 54 & 55 & 56 & 57 & 58 & 59 & 60\\
					\hline NSSN & 61 & 62 & 63 & 64 & 65 & 66 & 67 & 68 & 69 & 70\\
					\hline NSNN & 71 & 72 & 73 & 74 & 75 & 76 & 77 & 78 & 79 & 80\\
					\hline SNNN & 81 & 82 & 83 & 84 & 85 & 86 & 87 & 88 & 89 & 90\\
					\hline SNNS & 91 & 92 & 93 & 94 & 95 & 96 & 97 & 98 & 99 & 100\\
					\hline SNSN & 101 & 102 & 103 & 104 & 105 & 106 & 107 & 108 & 109 & 110\\
					\hline SNSS & 111 & 112 & 113 & 114 & 115 & 116 & 117 & 118 & 119 & 120\\
					\hline SSNN & 121 & 122 & 123 & 124 & 125 & 126 & 127 & 128 & 129 & 130\\
					\hline SSNS & 131 & 132 & 133 & 134 & 135 & 136 & 137 & 138 & 139 & 140\\
					\hline SSSN & 141 & 142 & 143 & 144 & 145 & 146 & 147 & 148 & 149 & 150\\
					\hline SSSS & 151 & 152 & 153 & 154 & 155 & 156 & 157 & 158 & 159 & 160\\
					\hline
				\end{tabular}
				\caption{Combinaciones y Números de Posiciones}
				\label{tab:numeroReplicaUbicacionCadaComb}
			\end{table}
			
			De acuerdo con Douglas Montgomery \cite{Montgomery:2008}, es importante poder aleatorizar el orden en que se van a evaluar las réplicas. Esto con el fin de distribuir el posible ruido de otros factores no contemplados en el experimento o que son propios de la ejecución del mismo. Por lo tanto, el orden seleccionado para las pruebas fue el siguiente:\\
			
			\textit{5 - 30 - 130 - 102 - 45 - 18 - 67 - 15 - 134 - 82 - 153 - 53 - 94 - 136 - 117 - 60 - 80 - 41 - 91 - 146 - 95 - 116 - 123 -
			109 - 39 - 77 - 160 - 89 - 51 - 32 - 47 - 143 - 88 - 76 - 54 - 3 - 139 - 16 - 98 - 29 - 120 - 44 - 81 - 96 - 150 - 66 - 129
			- 11 - 56 - 43 - 70 - 142 - 62 - 17 - 147 - 46 - 26 - 154 - 63 - 52 - 151 - 40 - 72 - 33 - 73 - 140 - 100 - 36 - 7 - 21 -
			119 - 22 - 28 - 61 - 4 - 58 - 74 - 24 - 155 - 35 - 1 - 6 - 10 - 55 - 132 - 9 - 131 - 149 - 65 - 90 - 84 - 101 - 105 - 111 -
			23 - 159 - 104 - 92 - 113 - 158 - 8 - 34 - 114 - 103 - 157 - 2 - 144 - 50 - 106 - 69 - 97 - 78 - 122 - 127 - 86 - 138 - 112
			- 107 - 19 - 148 - 68 - 38 - 27 - 85 - 93 - 79 - 31 - 42 - 87 - 20 - 128 - 59 - 49 - 12 - 37 - 133 - 145 - 152 - 75 - 137 -
			141 - 57 - 99 - 121 - 135 - 14 - 124 - 108 - 115 - 126 -- \ 25 - 13 - 64 - 83 - 110 - 125 - 71 - 48 - 156 -- 118}\\
			
			Números acorde con los asignados en la tabla \ref{tab:numeroReplicaUbicacionCadaComb}
			
			El experimento consiste en contrastar la valoración de la red neuronal y la valoración promedio de jugadores expertos de Costa Rica en las mismas posiciones.\\
			
			
			\section{Hipótesis planteadas}
				Este experimento tiene como hipótesis nula: \textit{\textbf{Los factores que se están tomando en cuenta no afectan la valoración de las posiciones}} y como hipótesis alternativa: \textit{\textbf{Los factores que se están tomando en cuenta si afectan la valoración de las posiciones}}.
				
		Es decir:
		\begin{itemize}
			\item \textbf{Hipótesis nula \(H_0\) :} \(\mu_0\) = \(\mu_1\) = \(\mu_2\) = \(\dots\) = \(\mu_{32}\)
			\item \textbf{Hipótesis alterna \(H_1\) :} \(\exists\text{ }i, j\) / \(\mu_i \neq \mu_j\)\\
		\end{itemize}
		
				Es muy importante que el factor que está directamente relacionado con la hipótesis de la tesis consiste en el evaluador, humano o red neuronal artificial.
			
			\subsection{Elaboración del experimento y obtención de datos}
			
			Cada jugador va a emitir un juicio sobre cada una de las posiciones. A cada valoración se va a asignar un número de acuerdo
			con la tabla \ref{tab:valNumAsociadosVentajas}:\\
			
			\begin{table}[h!]
				\centering
				\begin{tabular}{|r|l|}
					\hline
					\textbf{Tipo de ventaja} & \textbf{Valor numérico asignado}\\
					\hline
					Ventaja decisiva de las blancas & 3\\
					\hline
					Ventaja blanca & 2\\
					\hline
					Ligera Ventaja Blanca & 1\\
					\hline
					Igualdad & 0\\
					\hline
					Ligera Ventaja Negra & -1\\
					\hline
					Ventaja Negra & -2\\
					\hline
					Ventaja decisiva de las negras & -3\\
					\hline
				\end{tabular}
				\caption{Valores numéricos asociados a las ventajas}
				\label{tab:valNumAsociadosVentajas}
			\end{table}
			
			El principal propósito de esta numeración es lograr asignar un valor cuantitativo al margen de error entre la valoración correcta y la valoración otorgada por el evaluador. Por ejemplo, si una posición está
			valorada como ``Ventaja blanca'' (\textit{2}) y es catalogada como ``Ligera Ventaja Blanca'' (\textit{1}) el error bruto sería de \textit{1}
			numéricamente, pero si fuera catalogada como ``Ventaja Negra'' (\textit{-2}) el error bruto sería de \textit{4}. De esta manera podemos
			apreciar que reconocer que el bando blanco está mejor, pero no saber catalogar el tipo de ventaja que este muestra
			apropiadamente es menos grave, que considerar una posición de ventaja blanca como una de ventaja negra. Así se puede apreciar como el catalogar una posición que de hecho es ``\textit{ventaja blanca}'' como ``\textit{ventaja negra}'' (error de \(4\)) dista
			más que catalogarla como ``\textit{ligera ventaja blanca}'' (error de \(1\)).
			
\subsection{Variable de respuesta}

	El cálculo de la variable de respuesta consiste en catalogar la valoración arrojada por la red neuronal y por la persona en tres casos. Primero se calculó la diferencia entre el evaluador y la valoración correcta de acuerdo con el informador de ajedrez. Una vez calculado esa diferencia, se realizaron tres categorías que se pueden apreciar en tabla \ref{tab:varRespuesta}:
	
	\begin{table}[h!]
		\begin{tabular}{|l|c|}
			\hline
			\textbf{Apreciación} & \textbf{Diferencia de la  valoración correcta y la indicada}\\
			\hline
			Apreciación correcta & 0,1\\
			\hline
			Apreciación aproximada & 2,3\\
			\hline
			Apreciación errónea & 4,5,6\\
			\hline
		\end{tabular}
		\caption{Cálculo de la Variable de respuesta}
		\label{tab:varRespuesta}
	\end{table}

\subsubsection{Numeración de las réplicas}

	El experimento va a tener un total de \(320\) réplicas, que corresponden a \(160\) posiciones analizadas por humanos y \(160\) posiciones valoradas por la red neuronal. El número de réplica para los humanos coincidió con el número de posición y en el caso de la red neuronal cada réplica fue numerada tomando 160 + el número de réplica de la misma posición en el caso de los humanos.

\subsection{ANOVA}

	Se realizó una prueba de Análisis de Varianza para estimar si las valoraciones de la red diferían de las valoraciones humanas. En el cuadro \ref{tab:anova} muestra los valores del ANOVA

	\begin{table}[htp]
		\centering
		\begin{tabular}{|l|c|c|c|c|c|}
			\hline \textbf{Factor} & \textbf{Df} & \textbf{Sum Sq} & \textbf{Mean Sq} & \textbf{F}  & \textbf{Prob \(>\) F} \\ 
			\hline Rey & 1 & 0.450 & 0.45000 & 1.6322 & 0.20242 \\ 
			\hline Dama & 1 & 0.612 & 0.61250 & 2.2217 & 0.13718 \\ 
			\hline Igualdad & 1 & 0.612 & 0.61250 & 2.2217 & 0.13718 \\ 
			\hline Peones & 1 & 0.612 & 0.61250 & 2.2217 & 0.13718 \\ 
			\hline Evaluador & 1 & 0.612 & 0.61250 & 2.2217 & 0.13718 \\ 
			\hline Rey:Dama & 1 & 0.613 & 0.61250 & 2.2217 & 0.13718 \\ 
			\hline Rey:Igualdad & 1 & 0.112 & 0.11250 & 0.4081 & 0.52346 \\ 
			\hline Dama:Igualdad & 1 & 0.450 & 0.45000 & 1.6322 & 0.20242 \\ 
			\hline Rey:Peones & 1 & 0.312 & 0.31250 & 1.1335 & 0.28792 \\ 
			\hline Dama:Peones & 1 & 0.050 & 0.05000 & 0.1814 & 0.67052 \\ 
			\hline Igualdad:Peones & 1 & 1.250 & 1.25000 & 4.5340 & 0.03408  \\
			\hline Rey:Evaluador & 1 & 0.612 & 0.61250 & 2.2217 & 0.13718 \\ 
			\hline Dama:Evaluador & 1 & 0.800 & 0.80000 & 2.9018 & 0.08956  \\
			\hline Igualdad:Evaluador & 1 & 0.450 & 0.45000 & 1.6322 & 0.20242 \\ 
			\hline Peones:Evaluador & 1 & 0.200 & 0.20000 & 0.7254 & 0.39507 \\ 
			\hline Rey:Dama:Igualdad & 1 & 0.050 & 0.05000 & 0.1814 & 0.67052 \\ 
			\hline Rey:Dama:Peones & 1 & 0.200 & 0.20000 & 0.7254 & 0.39507 \\ 
			\hline Rey:Igualdad:Peones & 1 & 0.200 & 0.20000 & 0.7254 & 0.39507 \\ 
			\hline Dama:Igualdad:Peones & 1 & 0.313 & 0.31250 & 1.1335 & 0.28792 \\ 
			\hline Rey:Dama:Evaluador & 1 & 0.000 & 0.00000 & 0.0000 & 1.00000 \\ 
			\hline Rey:Igualdad:Evaluador & 1 & 0.050 & 0.05000 & 0.1814 & 0.67052 \\ 
			\hline Dama:Igualdad:Evaluador & 1 & 0.012 & 0.01250 & 0.0453 & 0.83153 \\ 
			\hline Rey:Peones:Evaluador & 1 & 0.450 & 0.45000 & 1.6322 & 0.20242 \\ 
			\hline Dama:Peones:Evaluador & 1 & 0.013 & 0.01250 & 0.0453 & 0.83153 \\ 
			\hline Igualdad:Peones:Evaluador & 1 & 0.112 & 0.11250 & 0.4081 & 0.52346 \\ 
			\hline Rey:Dama:Igualdad:Peones & 1 & 1.012 & 1.01250 & 3.6725 & 0.05631 \\
			\hline Rey:Dama:Igualdad:Evaluador & 1 & 0.113 & 0.11250 & 0.4081 & 0.52346 \\ 
			\hline Rey:Dama:Peones:Evaluador & 1 & 0.113 & 0.11250 & 0.4081 & 0.52346 \\ 
			\hline Rey:Igualdad:Peones:Evaluador & 1 & 0.312 & 0.31250 & 1.1335 & 0.28792 \\ 
			\hline Dama:Igualdad:Peones:Evaluador & 1 & 0.450 & 0.45000 & 1.6322 & 0.20242 \\ 
			\hline Rey:Dama:Igualdad:Peones:Evaluador & 1 & 0.200 & 0.20000 & 0.7254 & 0.39507 \\ 
			\hline Residuals & 288 & 79.400 & 0.27569 & &\\ 
			%\hline ---
			%\hline Signif. codes: &  0.01  \‘*\’ & 0.05 \‘.\’ & 0.1   \\ 

			\hline
		\end{tabular}
		\caption{ANOVA del experimento}
		\label{tab:anova}
	\end{table}

\subsection{Análisis del ANOVA}

	Como podemos ver, en la tabla, casi todas las relaciones entre los factores es superior al trece por ciento por lo que se descarta que alguno de los factores realmente afecte la valoración general obtenida. En especial, el factor que más interesa valorar es el evaluador. 
	
	Hubo un caso donde se puede observar que hubo una interacción de factores, en el caso de igualdad y peones con menos del cuatro por ciento, lo que hace suponer que son factores que pueden influir en la respuesta brindada. Curiosamente esto ocurre independientemente del evaluador a ambos les afecta la misma combinación de factores.\\

	En la figura \ref{fig:peonesigualdad} se muestra el gráfico generado con R. En él podemos apreciar como es que cuando los peones están desordenados y la posición no está igualada, se tiende a equivocar la valoración de la posición. Esto se explica porque en ajedrez un peón doblado (es decir que no está ordenado), es un arma de doble filo, cuando se tiene de más. Normalmente la falta de movilidad del peón atrasado (recordemos que un peón doblado es cuando dos peones del mismo bando están en la misma columna). Puede estar aparentemente que en la posición hay un peón de más, pero sin embargo, a la larga, el avance del peón es mucho más lento y eso se valora mejor cuando se estructuran planes a largo plazo más allá de la evaluación actual de la posición.

			\begin{figure}[h!]
				\centering
				\includegraphics[scale=0.5]{images/TesisERJ-img/InteraccionPeonesIgualdad.png}
				\\[0.4cm]
				\caption{Interacción entre peones e igualdad en la respuesta, generado por R}
				\label{fig:peonesigualdad}
			\end{figure}


\textbf{Dada la muestra compuesta por 320 réplicas, no hay suficiente evidencia para descartar la hipótesis nula y por lo tanto, se toma como cierta.} 